כיצד תצמצמו את הסיכון בפרויקט ההסבה או אינטגרציה הבא בעשרות אחוזים ? 

.." a defect that isn't detected upstream (during reguirements or design phase) will cost from 10 to 100 times as much to fix downstream"

Steve McConnell, Rapid Development, Microsoft Press

נתונים מסוכנים

כמה שווה לך לגלות לפני הפרויקט ש:

• למעלה מ-60% מהפריטים או מהיישויות הקיימות בקובץ - אינם רלוונטים להסבה ?

• שכ-30% מחיובים קיימים למוצר - אינם קשורים ליישות משלמת ?

• שב-2% מהמקרים אתה מחייב את לקוחותיך הרבה יותר, ובכ- 1.5% מהמקרים אינך מחייב אותם כלל (או כמוסכם) ?

פרויקטים ארגוניים מרכזים, כשהחשובים בהם מונים: פרויקטי הסבה, הקמת מערכת אנליטית חדשה, מיזוג מערכות או דיווח לרגולטור מכירים את הבעיה.

הנתונים.

• מעבר למערכת חדשה מחייב גישה וממשק לנתונים ממערכות שונות, בפורמטים, מבנים ושמות שונים.

• "הכרת הנתונים ומבנה הערכים עשוי להגיע ל-50% מהמזמן בפרויקטי הסבה".

The Standish Group, Migration Headaches

• נתונים, בעיקר ממערכות היסטוריות (Legacy), טומנים שפע של "הפתעות" למפתחים. "השלב הקשה ביותר לחיזור בפרויקט הסבה, טמון בזיהוי תוכן ומבנה הנתונים במקורות ה- Legacy. יותר מדי פרויקטים 'עלו על שרטון' ה'ערכים הבלתי תקינים או בתלי שמישים' בקבצי המקור".

Wayne Eckerson, The Data Warehouse Institute, 'The source of the Problem'

• בין ההפתעות הפופלאריות ניתן למנות (רשימה חלקית):

• ערכים בלתי תקינים או חסרים

• מפתחות חסרים או לא תקינים

• מבנים או פורמטים לא מתאימים (כגון: שדות טקסט במקום נומרי או תאריך)

• כפיליות בנתונים

• העדר סטנדרטים לציון הנתונים

• ועוד

כיצד מונעים הפתעות וסיכון בפרויקטי הסבה ?

הדרך הפשוטה והזולה ביותר להמנע מהפתעות יקרות במהלך פרויקט הסבה הנה -
להכיר את הנתונים. להכיר היטב לפני שמתחילים להסב אותם.

אלא שכאן טמון אתגר גדול.

פרויקטים רחבי היקף ונתונים, מחייבים שעות אדם רבות בלימוד והבנת מקורות הנתונים והאתגרים הקיימים בנתונים עצמם. מרבית הפרויקטים אינם יכולים להקצות כוח אדם ומשאבים כה רבים לניתוח והבנת מבני הנתונים והאתגרים הטמונים בהם.

ניתוח ואנליזה על הנתונים

בשנים האחרונות התפתחו מספר טכנולוגיות המציעות כלים רבי עוצמה לזיהוי והצפה מידיים של בעיות קיימות בנתונים. אלו הם כלי ניתוח ואנליזה על הנתונים המבצעים את עבודת הניתוח בצורה אוטומטית ובחלקיקי זמן הנדרשים ממפתח אנושי. כלי ניתוח ואנליזה על הנתונים מאפשר לך לקבל בצורה אוטומטית:

• מידע מפורט על כל קבצי הנתונים בטרם ההסבה (אפשרות למדגמים)

• תוכן הנתונים

• איכות הנתונים

• מבנה בסיס הנתונים, אפליקציות וקבצים

• ניתוח מפורט ומאובטח של שדות, וקשרים בין שדות וטבלאות נתונים

• Column Analysis

• Primary Key Analysis

• Foreign Key Analysis

• Cross-Domain Analysis

• Baseline Analysis

• ועוד עשרות דוחות מוכנים מראש שיציפו בעיות קיימות בנתונים

• תוצאות האנליזה נשמרות מיידית ב- Repository המשותף של IBM Information Server, ומאפשרות גישה ומידע לארכיטקטים, מנתחים מערכות ומפתחים

הסיכון הגדול טמון במה שאיננו יודעים (בניגוד למה שאנו כן יודעים)

פרויקטים רבים ניגשים לביצוע ההסבה או מיזוג הנתונים מתוך הכרות שטחית עם הנתונים והבעיות. במקרים רבים, התחושה היא כי "אנו מכירים טוב למדי את הבעיות הקיימות בנתונים ומכינים פתרונות בהתאם". פרויקטים רבים מוכיחים חזור והדגש כי הבעיה אינה טמונה במה שאנו יודעים, אלא במה שאיננו יודעים. חוסר תאימות בין מה "שצריך להיות - למה שבפועל מגלים", נתונים חסרים המחייבים למצוא פתרונות אד-הוק, פורמטים שגויים, מיפתוחים חסרים ועוד הם חלק קטן מהפתעות רבות העולות בשטח.

שימוש בכלי ניתוח ואנליזה אוטומטיים, מאפשר סריקה וניתוח ללא נוכחות אנושית ובצורה מהירה, והצפת דוחות הממקדים את מנתח המערכות (או ה-Data Analyst) ישירות לבעיות הקיימות - פעמים רבות תוך מציאת בעיות שאיש לא היה מודע להן או יכול היה לצפות אותן.

לסיכום

פרויקט הסבה, אינטגרצייה או/ו מעבר למערכת חדשה עוסק בנתונים. ככל שהארגון ותיק ומנהל נתונים תקופה ארוכה יותר, כך אתה צפוי לגלות הפתעות רבות יותר בנתונים ובאיכותם. זיהוי מוקדם ככל הניתן של הבעיות הקיימות בנתונים, יאפשר לך לתכנן מענה יעיל וזול מבעוד מועד ולחסוך זמן ומשאבים יקרים בעיצומו של הפרויקט.